MinGram: A Minimalist Unigram Tokenizer with High Compression and Competitive Morphological Alignment
极简 Unigram 分词器 MinGram：高压缩且形态对齐
🧭 分词器训练优化 · 极简 Unigram
Writer, Inc.
用 BPE 种子与硬 EM 简化 Unigram 训练，实现更高压缩与形态对齐，下游 LM 训练优于 BPE
📌 工作参考价值（4 点）
- 在特定领域语料上训练高效 tokenizer：电商/广告/搜索文本（商品名、查询词）往往有特殊频率分布，MinGram 可利用 BPE 种子快速训练出高压缩且形态更合理的 tokenizer，降低序列长度，从而加速 Transformer 推理与训练。
- 优化生成式推荐中的 token 化策略：若将物品表示为 Semantic ID 或序列生成，tokenizer 直接影响序列长度和解码效率。MinGram 的高压缩与对齐特性可减少 token 数，提升生成速度且可能改善 ID 表示质量。
- 多语言场景下的轻量 tokenizer 训练：对于跨国电商或搜索，MinGram 简化训练流程，去除后缀数组等重操作，易于对不同语言快速定制 tokenizer，同时保持优于 BPE 的压缩和下游 bits-per-byte。
- 直接复用压缩优先模式：若需要极致压缩以降低存储/带宽成本（如客户端模型、实时搜索），可使用其压缩导向变体，在保持合理对齐的前提下匹配最强分词压缩器。